#数楽 https://twitter.com/genkuroki/status/775907480819863552 … の続き奥村晴彦著『Rで楽しむ統計』 p.55より【ランダムにお金をやりとりすると、指数分布に近づき、貧富の差は増す】指数分布の確率はe^{-βE}に比例(β>0)。Eはランダムに選んだ個人が保有するお金の量。

#数楽 β>0のとき、個人が保有するお金の量Eの函数e^{-βE}は単調減少函数。Eが小さいほど確率が高い。ランダムにお金をやりとりする世界では貧困の問題がひどくなることを確率論を使って証明できるし、コンピューターシミュレーションでも確認できる。カノニカル分布の話。

#数楽 多項分布を独立なPoisson分布の積の制限(観測度数の総和はnで一定)で表現することができるのと同じように、ランダムにお金をやり取りした結果の確率分布を独立なある確率分布の積の制限(全員が持っているお金の総和が一定)で表現することができる。

#数楽 続き。個人が保有できる金額はE_1,…,E_rのどれかであるとし、一様分布を仮定する。この設定のもとで、U≦ΣE_i/rであると仮定し、n人の保有する金額の平均〈E〉がU以下である場合に確率分布を制限する。するとn→∞で分布は〈E〉≈Uに集中するようになり、続く

#数楽 続き～、ランダムに選んだ個人が保有する金額がE_iである確率はe^{-βE_i}に比例するようになる。比例定数はZ(β)=Σe^{-βE_i}で、βはΣe^{-βE_i}E_i/Z(β)=Uから決まる。証明は http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf … に書いてある。

#数楽 続き。要するに、nが大きくてかつ、n人のそれぞれが保有する金額がランダム(一様分布)だが、n人全体で保有するお金の合計がある上限以下という制限を付けると、各個人が保有するお金の金額がE_iである確率はe^{-βE_i}に(近似的に)比例するようになってしまうのだ！

#数楽 出発点の分布が一様分布でない場合についても http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf … で扱っている。お金の総量に制限がない状況で個人が保有するお金の金額がE_iである確率がq_iであるとき、n人が保有するお金の総量をnU以下に制限すると～続く

#数楽 続き～、個人が保有するお金の金額がE_iになる確率は e^{-βE_i}q_i に比例するようになります。n人全体が保有するお金の総量に制限を付けると、個人が保有する金額がE_iになる確率は制限がない場合の確率q_iにe^{-βE_i}をかけたものになるのだ。続く

#数楽 続き。(U≦ΣE_i q_iと仮定。βはΣe^{-βE_i}q_i E_i=U、Z(β)=Σe^{-βE_i}q_iから決まる。)e^{-βE_i}はE_iの単調減少函数なので、ランダムネスの仮定のもとで、お金の総量の制限は貧富の差を拡大するというわけです。続く

#数楽 以上の話の数学的に厳密な証明は技術的にそう難しくありません。所謂、大偏差原理の平易な場合であるSanovの定理の易しいバージョンです。証明の解説は http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf … にあります。かなりの部分が高校レベルの数学で間に合う。

#数楽 以上のような話は数学ファンだけではなく、貧富の差の問題を何とかしたい人達も知っておいてしかるべき知識だと思います。

デフレが貧富の差を拡大した仕組みってもしかしてこれじゃないの？「これ」＝「以上で説明した統計力学におけるカノニカル分布の話」＝「 http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf … の第2節と第4節の内容」

#数楽 なるほど、奥村晴彦さんの新著『Rで楽しむ統計』 https://www.amazon.co.jp/dp/4320112415  は奥村さんが収集した現代人が知っておくべき様々な教養を身に付けながら、Rでの統計処理もマスターできるように構成されているか。この本を眺めて興味を持てることが増えたら最高かも。

#数楽 奥村さんのこの本は本文部分だけではなく、✎マークの「註」に当たる部分がすごく面白い。✎マークの分量はかなり多い。✎マークに追い出された事柄についても本気で解説を書きまくったらページ数は数倍に膨れ上がるのではないだろうか？

#数楽 奥村晴彦著『Rで楽しむ統計』https://amazon.co.jp/dp/4320112415 p.138より【そこで、有意でない変数を外していけば、予測式はより安定する。どれくらい良い予測式であるかを評価するための指標はいろいろ考えられるが、ここではAIC～以下略】続く

#数楽 https://twitter.com/genkuroki/status/773005404448043008 … にも書いたことですが、AICの定義は(モデルの予測精度を上げるためには大きくしたい)対数尤度の期待値のn倍の近似値である(標本サイズnでの対数尤度標本平均)-(モデルのパラメーターの個数)の-2倍です。続く

#数学 Sanovの定理から、モデルの予測精度の高さは「KL情報量の小ささ」で評価できます。そして「KL情報量が小さい」⇔「(真の確率分布のもとでの)対数尤度の期待値が大きい」で、対数尤度の期待値はAICの-1/(2n)倍で近似される。AICが小さい方がKL情報量が小さくなる。

#数楽 ここでも、Kullback-Leibler情報量が関係して来る。未知である真の確率分布を定義式の中に含むKL情報量と(真の確率分布のもとでの)対数尤度の期待値は観測された量だけから計算できないのですが、観測された量だけで後者の近似値を得ることはできる。それがAIC。

#数楽 以下の項目はKullback-Leibler情報量とSanovの定理と関係がある。(1)Poisson分布や多項分布や「分割表の確率分布」の中心極限定理(2)ランダムにお金をやりとりしてかつお金の総量に上限があるならば貧富の差が増すこと(3)赤池情報量基準AIC

#数楽 やはり、「大数の法則」と「中心極限定理」の伝統的かつ系統的な利用だけではなく、「Sanovの定理」(Kullback-Leibler情報量もしくは相対エントロピー)も「普通の道具」として利用する方が健全にかつより直観的に様々なことを理解できるように思われます。

#数楽 というわけで、解説ノートを再度紹介http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf …Kullback-Leibler情報量とSanovの定理

#数楽 続き。問題(5)の解説が https://twitter.com/genkuroki/status/741099709285031936 … 以降の連続ツイートにあります。まず二項分布と(相対)エントロピー(-KL情報量)について十分に理解できれば、他は「直観的に以下同様」になります。

#数楽 https://twitter.com/genkuroki/status/775934628980936704 …リンク先のツイート以後の解説を難しくし過ぎた。初等的な議論で示せるので以下で解説します。設定：nは大きいとし、n人のそれぞれがお金を保有しており、n人分の合計金額は一定であり、ランダムにお金をやり取りしまくる。続く

#数楽 続き帰結：そのn人におけるお金の分布は指数分布で近似されるようになる。(各人がE円のお金を保有している確率はe^{-βE}に比例するようになる。)

#数楽 訂正版。続き。証明の概略。n人が保有する金額の合計をnUと書く。n人が保有する金額は0以上で、総和はnUになる。可能な場合全体は集合Ω_n(nU)={(E_1,…,E_n)∈Z_{≧}|ΣE_i=nU}で表現される。あとは場合の数を評価する計算になる。続く

#数楽 続き。i番目の人が金額Eを保有することと残りのn-1人が保有する金額の合計がnU-Eであることは同値なので、その場合の数は集合Ω_{n-1}(nU-E)の元の個数に等しい。その個数をΩ_n(nU)で割ればその場合の確率が得られる。続く

#数楽 Ω_n(nU)の元の個数はほぼnUのn-1乗に比例し、Ω_{n-1}(nU-E)の元の個数はほぼnU-Eのn-2乗に比例するので、i番目の人が金額Eを保有している確率はほぼ(nU-E)^{n-2}/(nU)^{n-1}に比例する。これで本質的に議論終了である。続く

#数楽 nが大きくて、EがnUよりずっと小さいならば(nU-E)^{n-2}/(nU)^{n-1}=(nU/(nU-E)^2) (1-E/(nU))^n≈(1/(nU)) e^{-E/U}.i人目が金額E保有する確率はほぼ e^{-E/U} に比例することがわかった。

#数楽 Uは1人あたりが保有する金額の期待値なのだが、確率密度函数 e^{-E/U}/U の確率分布(指数分布と呼ばれる)の期待値もUなのでつじつまは合っています。Uは統計力学における絶対温度に対応しています。個人が保有するお金の平均値←→統計力学における絶対温度

#数楽 以上のような話は統計力学の教科書に書いてあります。

#数楽 指数分布の普遍性を理解してもらうために授業時間に次のような実験をすることが考えられる。(1)出席者におもちゃのお金を配る。全員に同じ金額を配ってもよきし、偏りがあってもよい。(2)ランダムに相手を変えながら、じゃんけん勝負をしてお金をどんどんやりとりしてもらう。続く

#数楽 適当な時刻に、保有しているおもちゃのお金を集計して分布を記録する。十分時間が立つと分布は指数分布に落ち着くことが確認できるはず。物理の授業時間にやってもらえると助かる。

#数楽 上の方で説明した指数分布を出す計算と、R^n内の原点を中心とする半径√(nU)のn-1次元球面上の一様分布を1次元部分空間に射影して得られる分布はn→∞で正規分布に収束するという計算は本質的に同じです。両方の計算をやってみればわかる。「熱浴」の話の簡単な場合。

#数楽 T=σ^2とおく。R^n内の原点を中心とする半径√(nT)の球面上の一様分布を1次元部分空間への射影で得られるR上の確率分布はn→∞で平均0、分散Tの正規分布に収束し、分散Tは統計学における絶対温度に対応します。この話がお金の指数分布の話とほぼ同じなのは明らか。

#数楽 半径√(nT)のn-1次元球面を考えることは、R^nの座標をT=(x_1^2+…+x_n^2)/nと球面上の座標に分解することをやっていると考えられます。以前紹介しましたが、その分解は、PerelmanさんのRiemann幾何的熱浴のアイデアのTaoさんによる解説にも〜

#数楽 続き〜にも登場します。 https://terrytao.wordpress.com/2008/04/27/285g-lecture-9-comparison-geometry-the-high-dimensional-limit-and-perelman-reduced-volume/ … における(9)式を見て下さい。そして(15),(16)式以降の議論を見れば、一様分布の射影の話はラプラス方程式+熱浴から熱方程式を出す議論の一部だと解釈されるべきであることがわかります。

#数楽 総量一定のお金をランダムにやり取りする話(現実世界の貧富の差の問題と関係がある)とポアンカレ予想を解くためのに使われたアイデア(純粋数学の最深部)は地続きで繋がっているのです。下世話に感じられる話は実は下世話ではない。高尚に見える話も単に高尚なわけではない。

#数楽 「熱浴+注目系でのエネルギー保存則より確率がe^{-βE}に比例する」という話は統計力学の教科書に書いてあります。しかし、既出の https://terrytao.wordpress.com/2008/04/27/285g-lecture-9-comparison-geometry-the-high-dimensional-limit-and-perelman-reduced-volume/ … における熱浴+注目系上のラプラス方程式から注目系上の熱方程式を出す議論は見たことがない。

#数楽 続き。どこかに書いてあるならば教えて欲しいです。

#数楽 大数の法則と中心極限定理はすでに実用的な統計学を習得した人たちにとって空気のようなものになっているのですが、大偏差原理から出て来る話(先の総量が一定のお金のランダムなやりとりで指数分布が自動的に出て来たりする話がその最も簡単な例)についてはそうではないと思う。

#数楽 大偏差原理の取り扱いを知っていれば、統計力学における熱浴のアイデアで、所謂指数型分布族(統計力学におけるカノニカル分布の一般化、正規分布や指数分布を含む)がどのような場合に普遍的に出て来るかがわかります。これも空気のごとくみんなが使えるようになると素晴らしいと思う。

#数楽 総量一定(より正確には1人あたりの量の平均値一定)のお金をたくさんの人たちの間でランダムにやりとりするケースでは、注目する個人意外の人たちが「熱浴」の役目を果たします。奥村さんの新著でも紹介されていたようにこの例は基本的で分かりやすいと思う。

#数楽 注目する個人(もしくはより一般に注目する系)が集団(熱浴)とやりとりするものはお金である必要はなく、なんでもよい。ただし、指数型分布族を出すためには、注目する個人と集団の全体でやりとりするものの総量は一定でなければいけない。たったれだけの条件から〜続く

#数楽 続き。たったこれだけの条件から、個人がやりとりする集団のサイズを大きくする極限でどのような確率分布(指数型分布族に含まれる確率分布になる)に収束するかがわかる。大数の法則や中心極限定理よりも分布の収束先がずっと広く、使用可能なための条件もシンプルでわかり易い。

#数楽 基本定理：ベースになる個人の制限がない場合の分布密度をq(x)とするとき、個人が函数f(x)で表される量をサイズn-1の集団とランダムにやりとりするとき、全体でのf(x)の合計がnUのとき、n→∞で分布密度はe^{-βf(x)}q(x)に比例するようになる。

#数楽 ただし、U≦∫f(x)q(x)dxであるとき、β>0は、Z=∫e^{-βf(x)}q(x)dx、(1/Z)∫f(x)e^{-βf(x)}q(x)dx=Uという条件で決まる。

#数楽 例：総量nUのお金をn人でランダムにやりとりする場合にはM≧Uに対する[0,nM]区間上の一様分布を個人の制限なしの保有するお金xの分布密度と考えます。そして、f(x)=(注目する個人が保有するお金)=x. 結果的に得られる確率分布の密度函数はe^{-βx}に比例。

#数楽 例続き。このとき、Z=∫_0^∞ e^{-βx}dx=1/β、β∫_0^∞ x e^{-βx}dx=1/β=Uなので、β=1/Uとなり、平均Uの指数分布の密度函数e^{-x/U}/Uが得られる。指数分布が普遍的に現れて来る様子がわかります。

#数楽 積分範囲が0から∞になっているのは、q(x)として[0,nM]区間上の一様分布を選び、nを大きくしたときの様子を見ているから。

#数楽 例：個人ではなく粒子達がエネルギーf(x)=x^2をランダムにやりとりしている場合。n個の粒子全体でエネルギーの総和はnUであるとし、制限を付けないxの分布密度q(x)dxは区間[-√(nU),√(nU)]上の一様分布とする。続く

#数楽 例続き。nを大きくすると注目する粒子のエネルギーの確率密度函数はe^{-βx^2}に比例するようになる。ガウス積分の計算を実行すると、β=1/(2U)、Z=√(2πU)となり、確率密度函数は平均0、分散Uの正規分布になります。続く

#数楽 指数型分布族KL情報量D(p||q)=∫p(x)log(p(x)/q(x))dxの条件∫f(x)p(x)dx=u=(一定)<∫f(x)q(x)dxの下での最小値を与える確率分布p(x)はp(x)∝e^{-βf(x)}q(x)の形になる。逆温度β>0はuから決まる。

#数楽 Sanovの定理より、分布q(x)が生成するサンプルをf(X_1)+…+f(X_n)=nuを満たすX_1,…,X_nに制限したとき、各々のX_kはnが大きなとき近似的にp(x)∝e^{-βf(x)}q(x)の形の分布に従う。制限の影響が因子e^{-βf(x)}に表れる。

#数楽 続く。以下分布qは一様分布とする。x=vが各粒子な速度でf(v)=v^2/2=(運動エネルギー)のとき、系全体でエネルギー保存則f(V_1)+…+f(V_n)=nuが成立しているならば、各V_kは近似的に分布∝e^{-βv^2/2}従う(β=1/u)。続く

#数楽 続きx=m=f(m)≧0は各人が保有するお金の量で、全員分のお金の総量の保存則f(M_1)+…+f(M_n)=nu=(一定)が成立しているなら、各M_k≧0は近似的に分布∝e^{-βm}に従う(β=1/u)。すなわち平均uの指数分布に従う。

#数楽 続き。ガンマ分布∝e^{-am+b log m}を出すためには、お金の総量M_1+…+M_n=nuが一定と仮定するだけではなく、log M_1+…+log M_n=n log vが一定であることを仮定すればよい(相加相乗平均の不等式よりv≦u)。

#数楽 続き。訂正：Γ分布∝e^{-am+(b-1)log m}. (平均b/a、分散b/a^2)ここで、ψ(b)-log b=log(v/u)、ψ(b)=(d/db)log Γ(b)、a=b/uです。分散はu^2/bになる。分散はvがuに近いほど小さくなる(当たり前)。

#数楽 続き。log M_kはお金M_kから得られる効用と解釈できそうかな。ガンマ分布経済では、全マネー一定M_1+…+M_n=nuの条件の下で、全効用log M_1+…+log M_nを大きくすると富の分散が減って平等に近付く。最大のn log uで分散が0の完全平等！www

#数楽 続き。「Sanovの定理」とか「ガンマ分布」とか色々テクニカルワードが出て来て高級そうな話に見えている人がいたとしたら、それはひどい誤解(俺の説明の仕方がまずい)。１つ前のツイートの内容は本質的に相加相乗平均の不等式とその等号成立条件の話でしかない。

#数楽 続き。全マネー一定でランダムにマネーを交換しまくると、分布は指数分布に落ち着く。全マネーおよびlog型効用の総和が一定の条件のもとでランダムにマネーを交換しまくると分布はガンマ分布に落ち着く。以上の事実はSanovの定理の帰結だとみなせる。数値実験せずに証明できたw

#数楽 Sanovの定理のような簡単な大偏差原理の定理を知っているだけで、結構簡単に答えを出せる問題が増える。疑問：log型効用の総和が保存されるような自然なランダムマネー交換をどのように実現したらよいのか？物理学や経済学の教科書に答えが書いてある？誰か教えて下さい。

#数楽 続き。ん？もしかして、MCMCでいいの？ http://hikaru1122.hatenadiary.jp/entry/2015/10/08/235814 …もう寝床なのでまじめに考えずに書いています。答えを知っている人には是非とも教えて欲しいと思います。

#数楽 Sanovの定理(の簡単な場合)については、私の解説ノートを見て下さい→ http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf …

#数楽 教室で生徒に玩具のお金を配ってじゃんけんなどでランダムにお金をやりとりさせると分布は指数分布に落ち着きます。これを拡張してガンマ分布を作れないか？log型効用の総和を保つ自然な仕組みを作れれば可能なのですが、その方法がまだよくわからない。

#数楽 https://twitter.com/genkuroki/status/796728778789515265 …n人が保有するお金の総量が一定の条件の下でランダムにお金のやりとりを続けると個人が保有する金額は近似的に指数分布に従うようになる。さらにlog型効用の総和が一定という条件を付けるとガンマ分布が現れる。

#数楽 log(個人が保有する金額)のn人での総和を保ちながらお金をランダムにやるとりする仕組みをご存じの人がいたら教えて下さい。

#数楽 条件付き確率が自然に出て来るのは何らかの保存則が成立している場合です。たとえば統計物理でのエネルギー保存とか。続く

#数楽 他にも、教室内の学生達におもちゃのお金を配って、じゃんけん勝負でランダムにお金の取り合いをさせるケースでは、お金の総量は保存されます。この場合も条件付き確率で求めた結果とランダムなお金の取り合いの結果は一致します。

#数楽 ちなみに、一人当たりのお金の量を一定としたま人数→∞の極限を取ると、ランダムなお金の取り合いの結果の経験分布は指数分布に収束します。

#数楽 @gilbert_yumu 順番に説明します。私の話の文脈で指数分布が出て来る理由は「Nは大きい」「N人全体で保有するお金の総量が一定」「ランダムにお金をやり取りする」だけです。何らかの分布を仮定しなくてもそれだけの条件だけから勝手に指数分布が出て来る。続く

#数楽 @gilbert_yumu 「指数分布になる」とは「ある正の数βがあって、各人が持っているお金がm円である確率がe^{-βm}に比例するようになる」ということです。mの総和が一定だと、確率はmの指数函数に比例するようになる。続く

#数楽 @gilbert_yumu ランダムなお金のやりとりで、各人が持っているお金m_iの総和Σm_i=Mが保たれるだけではなく、log型効用の総和Σlog m_i=Lも一定だとすると、確率はe^{-βm-γ log m}に比例するようになります。続く

#数楽 @gilbert_yumu 続き。一般に、ランダムなお金のやり取りで、Σ_i f_ν(m_i)=C_ν (ν=1,…,N)が保存されるならば、各人の持っているお金がmである確率はe^{-Σ_ν β_ν f_ν(m)}に比例するようになります(β_νは正の定数)。続く

#数楽 @gilbert_yumu 実際に実験するときには、教室でおもちゃのお金をくばってランダムにお金のやりとりをさせることになります。おもちゃのお金を破って捨てることを禁止すれば配ったおもちゃのお金の総量は保たれます。お金の総量を保つのは簡単。続く